Investigating user preferences in utilizing a 2D paper or 3D sketch based interface for creating 3D virtual models

Computer modelling of 2D drawings is becoming increasingly popular in modern design as can be witnessed in the shift of modern computer modelling applications from software requiring specialised training to ones targeted for the general consumer market. Despite this, traditional sketching is still prevalent in design, particularly so in the early design stages. Thus, research trends in computer-aided modelling focus on the the development of sketch based interfaces that are as natural as possible. In this report, we present a hybrid sketch based interface which allows the user to make draw sketches using offline as well as online sketching modalities, displaying the 3D models in an immersive setup, thus linking the object interaction possible through immersive modelling to the flexibility allowed by paper-based sketching. The interface was evaluated in a user study which shows that such a hybrid system can be considered as having pragmatic and hedonic value.peer-reviewe

Ein Beitrag zur Verwendung von Technologien der Virtuellen Realität für Design-Reviews

Heutige industrielle Produktentstehungsprozesse basieren in weiten Teilen auf dem Einsatz digitaler Methoden, weshalb man oft von Virtuellen Produktentstehungsprozessen (VPE) spricht (Stark et al., 2011). In diesen Prozessen können häufig Elemente bekannter Vorgehensmodelle wie der VDI 2221 (VDI-2221, 1993) oder des V-Modells (Rausch, 2006; VDI-2206, 2003) wiedergefunden werden. Die im Rahmen der Produktentstehung getätigten Entwicklungsentscheidungen werden regelmäßig in sogenannten Design-Reviews geprüft und ggf. weiterentwickelt. Solche Design-Reviews sind typischerweise interdisziplinär z. B. mit Ingenieuren, Designern und Mitgliedern der Geschäftsführung besetzt (Fu & East, 1999). Sie dienen als Element der Qualitätskontrolle und können Ideengeber für konstruktive Lösungen und Entwicklungsimpulse sein. Dabei werden beispielsweise grundsätzliche Entscheidungen zur Auswahl von Varianten getroffen, die Gestaltung konstruktiver Details erörtert oder die Möglichkeit des Ein- und Ausbaus von Produktelementen im Servicefall getestet. Die Verwendung virtueller statt physischer Prototypen bietet dabei einen Zeit- und Kostenvorteil (Spur & Krause, 1997). In Teilbereichen des Produktentwicklungsprozesses, in denen Materialität eine wesentliche Rolle spielt, finden physische Modelle und Prototypen weiterhin Verwendung; zum Beispiel werden Tonmodelle nach wie vor im Fahrzeugdesign eingesetzt (Daimler-AG, 2008)

Ein Beitrag zur Verwendung von Technologien der Virtuellen Realität für Design-Reviews

Heutige industrielle Produktentstehungsprozesse basieren in weiten Teilen auf dem Einsatz digitaler Methoden, weshalb man oft von Virtuellen Produktentstehungsprozessen (VPE) spricht (Stark et al., 2011). In diesen Prozessen können häufig Elemente bekannter Vorgehensmodelle wie der VDI 2221 (VDI-2221, 1993) oder des V-Modells (Rausch, 2006; VDI-2206, 2003) wiedergefunden werden. Die im Rahmen der Produktentstehung getätigten Entwicklungsentscheidungen werden regelmäßig in sogenannten Design-Reviews geprüft und ggf. weiterentwickelt. Solche Design-Reviews sind typischerweise interdisziplinär z. B. mit Ingenieuren, Designern und Mitgliedern der Geschäftsführung besetzt (Fu & East, 1999). Sie dienen als Element der Qualitätskontrolle und können Ideengeber für konstruktive Lösungen und Entwicklungsimpulse sein. Dabei werden beispielsweise grundsätzliche Entscheidungen zur Auswahl von Varianten getroffen, die Gestaltung konstruktiver Details erörtert oder die Möglichkeit des Ein- und Ausbaus von Produktelementen im Servicefall getestet. Die Verwendung virtueller statt physischer Prototypen bietet dabei einen Zeit- und Kostenvorteil (Spur & Krause, 1997). In Teilbereichen des Produktentwicklungsprozesses, in denen Materialität eine wesentliche Rolle spielt, finden physische Modelle und Prototypen weiterhin Verwendung; zum Beispiel werden Tonmodelle nach wie vor im Fahrzeugdesign eingesetzt (Daimler-AG, 2008)

Investigating user response to a hybrid sketch based interface for creating 3D virtual models in an immersive environment

This research was done in collaboration with the Fraunhofer Institute for Production Systems and Design Technology Berlin. It was supported by VISIONAIR, a project funded by the European Commission under grant agreement 262044.Computer modelling of 2D drawings is becoming increasingly popular in modern design as can be witnessed in the shift of modern computer modelling applications from software requiring specialised training to ones targeted for the general consumer market. Despite this, traditional sketching is still prevalent in design, particularly so in the early design stages. Thus, research trends in computer-aided modelling focus on the the development of sketch based interfaces that are as natural as possible. In this paper, we present a hybrid sketch based interface which allows the user to make draw sketches using offline as well as online sketching modalities, displaying the 3D models in an immersive setup, thus linking the object interaction possible through immersive modelling to the flexibility allowed by paper-based sketching. The interface was evaluated in a user study which shows that such a hybrid system can be considered as having pragmatic and hedonic value.peer-reviewe

Sketch-based interaction and modeling: where do we stand?

Sketching is a natural and intuitive communication tool used for expressing concepts or ideas which are difficult to communicate through text or speech alone. Sketching is therefore used for a variety of purposes, from the expression of ideas on two-dimensional (2D) physical media, to object creation, manipulation, or deformation in three-dimensional (3D) immersive environments. This variety in sketching activities brings about a range of technologies which, while having similar scope, namely that of recording and interpreting the sketch gesture to effect some interaction, adopt different interpretation approaches according to the environment in which the sketch is drawn. In fields such as product design, sketches are drawn at various stages of the design process, and therefore, designers would benefit from sketch interpretation technologies which support these differing interactions. However, research typically focuses on one aspect of sketch interpretation and modeling such that literature on available technologies is fragmented and dispersed. In this paper, we bring together the relevant literature describing technologies which can support the product design industry, namely technologies which support the interpretation of sketches drawn on 2D media, sketch-based search interactions, as well as sketch gestures drawn in 3D media. This paper, therefore, gives a holistic view of the algorithmic support that can be provided in the design process. In so doing, we highlight the research gaps and future research directions required to provide full sketch-based interaction support

Hybrid interaction techniques for immersive sketching in early phases of product design

Mit der wachsenden Verbreitung dreidimensionaler Benutzungsschnittstellen wächst auch das Interesse, diese für kreative, konzeptionelle Entwurfstätigkeiten einzusetzen. Benutzeranforderungen und kognitive Aspekte des immersiven Designs, insbesondere des Skizzierens und Modellierens, sind bisher jedoch kaum bekannt. Eine technische Integration in die Systeme der Virtuellen Produktentstehung wurde bisher ebenfalls nicht vollzogen. Das Ziel dieser Arbeit ist es, Unterstützungsmöglichkeiten für kreative Entwurfstätigkeiten durch die Verknüpfung von Virtual Reality-Technologie, fühlbaren Benutzungsschnittstellen und der Methodik des Skizzierens zu erschließen und im Rahmen der Virtuellen Produktentwicklung zu verankern. Diese Arbeit verfolgte dazu einen benutzerzentrierten Ansatz und untersuchte die Gebrauchstauglichkeit des immersiven dreidimensionalen Skizzierens anhand mehrerer Studien: einer Expertendiskussion im Rahmen einer Fokusgruppenstudie, zweier vergleichender Benutzerstudien des immersiven Skizzierens unter professionellen Möbeldesignern und einer Studie zur Interaktion mit hybriden Werkzeugen in virtuellen Umgebungen. Die Ergebnisse der Fokusgruppe zeigten ein starkes Interesse der avisierten Nutzer am Gebrauch des dreidimensionalen Raums als eines Mediums für das konzeptionelle Entwerfen. Die Nutzer erwarten davon zusätzliche Möglichkeiten für den Entwurfsprozess, insbesondere Räumlichkeit, Eins-zu-eins-Proportionalität, Assoziativität und Formbarkeit der Skizzen. Eine vergleichende Studie hatte zum Ziel, Vorteile des dreidimensionalen Raums und des zusätzlichen räumlichen Freiheitsgrades für kreative/reflektierende Externalisierungsprozesse zu untersuchen. Dazu wurden eine 3D- und 2D-Bedingung innerhalb identischer technischer Bedingungen miteinander verglichen. In dieser Studie, an der 24 berufserfahrene Designer und Konstrukteure teilnahmen, konnten signifikante Unterschiede gefunden werden, die die Unterstützungsfunktion des dreidimensionalen Skizzierens unterstreichen. Hier sind insbesondere die interaktive Auseinandersetzung des Skizzierenden mit der Skizze schon während der ersten Entwurfsphase, die Eins-zu-eins-Räumlichkeit sowie stimulierende hedonistische Faktoren zu nennen. Die qualitative Analyse der Benutzeräußerungen ergab darüber hinaus Hinweise auf technische Herausforderungen und Notwendigkeiten zur Weiterentwicklung. Zwei weitere vergleichende Benutzerstudien untersuchten die Gestaltung von Interaktionswerkzeugen und –techniken für einfache Manipulationsaufgaben und immersives Skizzieren in virtuellen Umgebungen. Es konnte gezeigt werden, dass hybride Werkzeuge, die aus physischen und virtuellen Anteilen bestehen, derzeit die optimal Lösung für immersive Skizzieraufgaben darstellen. Die empirisch gewonnen Ergebnisse dieser Arbeit unterstreichen die bedeutende Rolle des immersive Skizzieren für zukünftige Systeme der Virtuellen Produktentstehung. In industriellen Anwendungen können Techniken des immersiven Skizzierens anfangs auch als komplementäre Werkzeuge in interaktiven Design-Reviews und in CAD-Modellieraufgaben zum Einsatz kommen.As immersive 3D user interfaces reach broader acceptance, their use for creative, conceptual design attracts both academic and industrial interests. So far, little is known about the user requirements and cognitive aspects of immersive 3D design, e.g. sketching and modelling. The integration of the latter into the workflow of virtual product creation is also far from being achieved. The aim of this thesis is to open up support for creative design by integrating virtual reality technology, tangible user interfaces and the methodology of sketching into the processes of virtual product creation. This thesis follows a user-centered approach and investigates the usability of immersive sketching in various studies: a focus group expert discussion, two comparative user studies on immersive 3D sketching conducted among professional furniture designers, and a comparative study on interacting with hybrid tools in virtual environments. The results of the focus group discussions show a strong interest in using the three-dimensional space as a medium for conceptual design. Users expect it to provide new means for the sketching process, namely spatiality, one-to-one proportions, associations, and formability. A comparative study was initiated in order to find and investigate advantages of immersive three-dimensional space and its additional degrees-of-freedom for creative/reflective externalization processes. A 3D and a 2D baseline condition were compared in the same technical environment, an immersive VR-Cave system. The user study was conducted among 24 professional designers and engineers. The results show significant effects in favour of the supporting potential of immersive sketching, in particular the interactive engagement with the sketch already during the first design phase, the one-to-one proportionality and stimulating hedonic factors. A qualitative analysis of user statements further revealed the necessity for technical improvements and enhancements. Another two comparative user studies investigated the design of both interaction tools and techniques for basic manipulation tasks and sketching in virtual environments. It was found that hybrid tools which consist of physical, tangible parts and virtual parts are currently the optimal solution for immersive sketching tasks. This thesis argues that as we progress towards novel digital product development processes, immersive sketching along with new tangible interaction techniques will reach a significant position in conceptual product design. The thesis provides a strong empirical fundament in favour of the industrial application of immersive sketching and the use of immersive sketching techniques as a complementary function in tasks such as interactive design reviews and CAD-modelling

Be-greifbare Interaktionen in gemischten Wirklichkeiten

Begreifbare interaktive Systeme (Tangible User Interfaces) und Gemischte Wirklichkeiten (Mixed Realities) gewinnen in der Interaktion zwischen Benutzern und modernen multimedialen Computersys-temen fortwährend an Bedeutung. Der Arbeitskreis „Be-greifbare Interaktionen in gemischten Wirk-lichkeiten“ des GI-Fachbereichs Mensch-Computer-Interaktion bietet ein lebendiges Forum zum Aus-tausch und zur Förderung der Aufmerksamkeit bezüglich dieses Themas innerhalb und außerhalb der Gesellschaft für Informatik. Der Workshop wird sich mit den neuesten Entwicklungen und Forschungsergebnissen im Bereich der Tangible Interfaces und Mixed Realities befassen

Be-greifbare Interaktionen in gemischten Wirklichkeiten

Begreifbare interaktive Systeme (Tangible User Interfaces) und Gemischte Wirklichkeiten (Mixed Realities) gewinnen in der Interaktion zwischen Benutzern und modernen multimedialen Computersys-temen fortwährend an Bedeutung. Der Arbeitskreis „Be-greifbare Interaktionen in gemischten Wirk-lichkeiten“ des GI-Fachbereichs Mensch-Computer-Interaktion bietet ein lebendiges Forum zum Aus-tausch und zur Förderung der Aufmerksamkeit bezüglich dieses Themas innerhalb und außerhalb der Gesellschaft für Informatik. Der Workshop wird sich mit den neuesten Entwicklungen und Forschungsergebnissen im Bereich der Tangible Interfaces und Mixed Realities befassen

Ein Beitrag zur Verwendung von Technologien der Virtuellen Realität für Design-Reviews

Heutige industrielle Produktentstehungsprozesse basieren in weiten Teilen auf dem Einsatz digitaler Methoden, weshalb man oft von Virtuellen Produktentstehungsprozessen (VPE) spricht (Stark et al., 2011). In diesen Prozessen können häufig Elemente bekannter Vorgehensmodelle wie der VDI 2221 (VDI-2221, 1993) oder des V-Modells (Rausch, 2006; VDI-2206, 2003) wiedergefunden werden. Die im Rahmen der Produktentstehung getätigten Entwicklungsentscheidungen werden regelmäßig in sogenannten Design-Reviews geprüft und ggf. weiterentwickelt. Solche Design-Reviews sind typischerweise interdisziplinär z. B. mit Ingenieuren, Designern und Mitgliedern der Geschäftsführung besetzt (Fu & East, 1999). Sie dienen als Element der Qualitätskontrolle und können Ideengeber für konstruktive Lösungen und Entwicklungsimpulse sein. Dabei werden beispielsweise grundsätzliche Entscheidungen zur Auswahl von Varianten getroffen, die Gestaltung konstruktiver Details erörtert oder die Möglichkeit des Ein- und Ausbaus von Produktelementen im Servicefall getestet. Die Verwendung virtueller statt physischer Prototypen bietet dabei einen Zeit- und Kostenvorteil (Spur & Krause, 1997). In Teilbereichen des Produktentwicklungsprozesses, in denen Materialität eine wesentliche Rolle spielt, finden physische Modelle und Prototypen weiterhin Verwendung; zum Beispiel werden Tonmodelle nach wie vor im Fahrzeugdesign eingesetzt (Daimler-AG, 2008)